MaisConhecer - Os computadores podem nos ajudar a fazer ciência, mas não podem entendê-la por nós

Os computadores podem nos ajudar a fazer ciência, mas não podem entendê-la por nós

Embora a inteligência artificial possa acelerar as descobertas científicas, ela deve ser usada com cautela para que os princípios do método científico sejam respeitados. Crédito da imagem: Wanan Yossingkum, Getty Images.

A Dra. Heloise Stevance , bolsista Schmidt de IA na Ciência no Departamento de Física da Universidade de Oxford, é uma astrofísica computacional que desenvolve sistemas inteligentes de recomendação para levantamentos astronômicos. Neste artigo, ela discute a ética de delegar a tomada de decisões científicas aos nossos computadores. Recentemente, uma das conferências de inteligência artificial (IA) mais prestigiadas (NeurIPS) foi flagrada aceitando artigos com citações alucinadas . E não foram poucos casos, mas sim mais de 100.

A resposta do conselho da NeurIPS é bastante reveladora dos tempos em que vivemos: " Mesmo que 1,1% dos artigos tenham uma ou mais referências incorretas devido ao uso de LLMs, o conteúdo dos próprios artigos não é necessariamente invalidado ." Na prática, uma atitude de "tanto faz", seguida de declarações contraditórias como "estar comprometido [...] em garantir o máximo rigor científico ".

Essa abordagem “flexível” à ética em pesquisa e ao significado de “rigor científico” não deve ser o modelo para a forma como a ciência em geral aborda a IA. Tampouco deve ser um sinal de que precisamos escolher entre a IA e nossos princípios. Precisamos apenas refletir cuidadosamente sobre como e onde a estamos utilizando.

Dra. Héloïse Stevance. Crédito: Elise Manahan.

Delegar tarefas científicas e a tomada de decisões a computadores não é um fenômeno novo, e não é necessariamente algo ruim. Algumas tarefas podem ser automatizadas ou aceleradas para permitir descobertas mais rápidas e abrangentes . Mas delegar processos científicos às nossas máquinas sempre tem um custo, que deve ser ponderado em relação aos benefícios.

As decisões que tomarmos agora influenciarão os dados que criaremos para as futuras gerações de cientistas. Temos um dever de cuidado e uma responsabilidade compartilhada para com nossos colegas, presentes e futuros.

"As decisões que tomarmos agora influenciarão os dados que criaremos para as futuras gerações de cientistas. Temos um dever de cuidado e uma responsabilidade compartilhada para com nossos colegas, presentes e futuros. "

Como astrônomo de levantamentos celestes que utiliza computadores para analisar vastas quantidades de dados, tenho dedicado muito tempo a refletir sobre essa questão. Meu objetivo como cientista é descobrir novos conhecimentos, mantendo os padrões do método científico: Reprodutibilidade, Falseabilidade e Consciência de Viés .

Meu interesse específico reside em aprender como explosões distantes de estrelas criam novos elementos no Universo, que podem então formar planetas, pessoas e até mesmo smartphones. Essas explosões são visíveis apenas por alguns dias ou semanas, então precisamos encontrá-las rapidamente para coletar os dados necessários para a análise.

Para isso, contamos com programas como o ATLAS, um levantamento celeste que vasculha o céu repetidamente, noite após noite. Em essência, jogamos um jogo de "encontre as diferenças" com o cosmos, comparando imagens de referência com as mais recentes, procurando por mudanças e novas fontes de luz.

Mas o céu é imenso. Numa noite muito escura e sem lua, nossos olhos conseguem ver alguns milhares de estrelas; o levantamento celeste ATLAS consegue detectar um bilhão de fontes de luz brilhantes. Eu levaria um ano inteiro para comparar visualmente as imagens de antes e depois que o ATLAS captura numa única noite.

Em resumo, os desafios que enfrento na astronomia moderna são de duas ordens e muito comuns na ciência:

1. Imensas quantidades de dados (volume, velocidade e/ou dimensionalidade).

2.Não há tempo suficiente.

"Independentemente da tarefa para a qual utilizemos IA e aprendizado de máquina, a pergunta fundamental que precisamos fazer é: "Como isso influenciará o legado e a longevidade das minhas descobertas?"

Mesmo que você não trabalhe rastreando explosões que vêm e vão, se você for um pesquisador, terá prazos para solicitações de financiamento, conferências para as quais se preparar, um contrato para renovar, etc. A pressão do tempo na ciência é sentida em todos os níveis.

Assim, delegamos tarefas aos nossos computadores. Mas, seja qual for a tarefa para a qual usamos IA e aprendizado de máquina, a pergunta fundamental que precisamos fazer é: "Como isso influenciará o legado e a longevidade das minhas descobertas?"

Com isso em mente, sigo três princípios básicos ao considerar se é sensato ou correto delegar uma tarefa ou decisão a uma ferramenta.

1. O software só é aberto se os dados subjacentes forem abertos.

Cuidado com o "open-washing": modelos não são reproduzíveis sem dados de treinamento. A palavra "aberto" foi originalmente usada na indústria de tecnologia para designar software de código aberto, ou software "livre" - software que concede a todos a liberdade de ver, usar, modificar e redistribuir. Perfeito para reprodutibilidade e compartilhamento de conhecimento.

Infelizmente, o simples fato de você ver a palavra "aberto" hoje em dia não significa necessariamente que esses padrões sejam respeitados. Mesmo que você consiga reproduzir o resultado obtido por um modelo, isso não é suficiente para a reprodutibilidade científica a longo prazo. Alguém além do criador do modelo precisa ser capaz de reproduzir e compreender o treinamento do próprio modelo. Mas se os dados subjacentes e os algoritmos de treinamento não forem acessíveis, isso se torna impossível.

E se, como eu, você for a pessoa que está lançando os modelos, reserve um tempo para publicar os dados documentados juntamente com o código, por exemplo, no Zenodo .

2. Use a ferramenta mais simples que funcione.

"Alguém que não seja o criador do modelo precisa ser capaz de reproduzir e compreender o treinamento do próprio modelo. Mas se os dados subjacentes e os algoritmos de treinamento não forem acessíveis, isso se torna impossível."

Às vezes, existe uma pressão para usar a ferramenta ou o modelo mais recente e "avançado". Podemos presumir que, se quisermos fazer ciência de ponta, precisamos usar os modelos mais inovadores e modernos. Mas esse não é necessariamente o caso. Em vez disso, defendo que se comece com a solução mais simples possível. Se o modelo simples funcionar, pare por aí ! Se não funcionar, analisamos as falhas específicas para nos direcionar para a próxima abordagem a ser testada.

Encontrar uma solução simples para um problema complexo é extremamente valioso, pois significa que meus colegas, atuais e futuros, terão mais facilidade em compreender meus modelos. A quantidade de conhecimento altamente específico necessária para entender todas as nuances de um método é, por vezes, chamada de dívida intelectual . Assim como a dívida técnica, ela impede a reprodutibilidade. Em uma empresa, significa perda de receita; na ciência, significa perda de conhecimento e redução do rigor científico.

Utilizar a solução mais simples possível também ajuda a manter a soberania . Vejamos um exemplo extremo: imagine que eu utilize um agente de IA de terceiros como assistente de pesquisa. O que acontece se a empresa que fornece esses agentes decidir aumentar o preço da assinatura várias vezes porque está abrindo o capital e precisa gerar lucro? Minha verba de pesquisa suportaria o impacto? Ou, e se eles decidirem que a versão do modelo que eu estava usando não está mais disponível, mas a nova versão se comporta de maneira diferente e/ou retorna resultados diferentes? E se a empresa falir e o serviço desaparecer? Eu poderia perder dias, semanas, até anos de pesquisa (financiada com verbas públicas).

3. Seja cético em relação ao que você não entende.

'Pode ser tentador usar uma solução complexa e aparentemente inteligente que funcione. Mas a ciência não se resume a tentar fazer algo funcionar e parar por aí — isso se chama viés de confirmação. A ciência consiste em observar algo funcionar e perguntar "por quê?".'

Grandes modelos de linguagem, como o ChatGPT ou o Claude, reduziram a barreira de entrada para que não especialistas possam programar ferramentas e algoritmos complexos. Pode ser tentador usar dicas para aplicar uma solução complexa e "inteligente" que pareça funcionar. Mas a ciência não se resume a tentar fazer algo funcionar e parar por aí (isso se chama viés de confirmação). A ciência consiste em observar algo funcionar e perguntar "por quê?", depois tentar fazê-lo falhar para ver onde ocorre a falha (e relatar isso juntamente com os sucessos).

Confesso que não sou imune ao "medo de ficar de fora (FOMO)". Seguir princípios éticos de pesquisa pode ser a coisa certa a fazer, mas não elimina a ansiedade: ficarei para trás se demorar muito para testar minhas ferramentas ou se não criar um exército de agentes de IA para ler a literatura e escrever artigos para mim?

O importante é lembrar que me tornei cientista para compreender o mundo natural. Escrever artigos e pedidos de financiamento é um meio para um fim, não o fim em si. No fim das contas, a IA pode me ajudar a fazer ciência, mas não pode entendê-la por mim. Se eu não conseguir reproduzir meus resultados, podem muito bem me chamar de astrólogo.

Para obter mais informações sobre esta notícia ou para republicar este conteúdo, entre em contato com news.office@admin.ox.ac.uk